Что вы знаете про калибровку уверенности/вероятности?
Калибровкой уверенности или вероятности называют процесс корректировки прогнозируемых данных классификатора, чтобы они точнее отражали реальную вероятность события.
Допустим, мы решаем задачу классификации с n классами. Модель выдаёт некоторые оценки принадлежности объектов к классам — уверенности. После этого каждый объект можно отнести к классу с максимальной оценкой. Возникает вопрос: какова вероятность, что ответ верный? Эту вероятность хотелось бы оценивать на этапе формирования ответа.
«Удобный» вариант сделать это — использовать предположение, что эта вероятность равна максимальной оценке алгоритма (уверенности). Если данное равенство выполняется с достаточной точностью, то можно сказать, что «классификатор хорошо откалиброван». Условия калибровки, в принципе, могут быть и другими. Например, можно хотеть, чтобы вообще все оценки соответствовали вероятностям.
Зачем нужна калибровка?
▫️Чтобы понимать, насколько результатам алгоритма можно доверять. ▫️Чтобы точнее решать задачи. Так, в языковых моделях при генерации текстов используются вероятности появления отдельных токенов.
Что вы знаете про калибровку уверенности/вероятности?
Калибровкой уверенности или вероятности называют процесс корректировки прогнозируемых данных классификатора, чтобы они точнее отражали реальную вероятность события.
Допустим, мы решаем задачу классификации с n классами. Модель выдаёт некоторые оценки принадлежности объектов к классам — уверенности. После этого каждый объект можно отнести к классу с максимальной оценкой. Возникает вопрос: какова вероятность, что ответ верный? Эту вероятность хотелось бы оценивать на этапе формирования ответа.
«Удобный» вариант сделать это — использовать предположение, что эта вероятность равна максимальной оценке алгоритма (уверенности). Если данное равенство выполняется с достаточной точностью, то можно сказать, что «классификатор хорошо откалиброван». Условия калибровки, в принципе, могут быть и другими. Например, можно хотеть, чтобы вообще все оценки соответствовали вероятностям.
Зачем нужна калибровка?
▫️Чтобы понимать, насколько результатам алгоритма можно доверять. ▫️Чтобы точнее решать задачи. Так, в языковых моделях при генерации текстов используются вероятности появления отдельных токенов.
#машинное_обучение
BY Библиотека собеса по Data Science | вопросы с собеседований
Warning: Undefined variable $i in /var/www/tg-me/post.php on line 283
In many cases, the content resembled that of the marketplaces found on the dark web, a group of hidden websites that are popular among hackers and accessed using specific anonymising software.“We have recently been witnessing a 100 per cent-plus rise in Telegram usage by cybercriminals,” said Tal Samra, cyber threat analyst at Cyberint.The rise in nefarious activity comes as users flocked to the encrypted chat app earlier this year after changes to the privacy policy of Facebook-owned rival WhatsApp prompted many to seek out alternatives.
Spiking bond yields driving sharp losses in tech stocks
A spike in interest rates since the start of the year has accelerated a rotation out of high-growth technology stocks and into value stocks poised to benefit from a reopening of the economy. The Nasdaq has fallen more than 10% over the past month as the Dow has soared to record highs, with a spike in the 10-year US Treasury yield acting as the main catalyst. It recently surged to a cycle high of more than 1.60% after starting the year below 1%. But according to Jim Paulsen, the Leuthold Group's chief investment strategist, rising interest rates do not represent a long-term threat to the stock market. Paulsen expects the 10-year yield to cross 2% by the end of the year.
A spike in interest rates and its impact on the stock market depends on the economic backdrop, according to Paulsen. Rising interest rates amid a strengthening economy "may prove no challenge at all for stocks," Paulsen said.
Библиотека собеса по Data Science | вопросы с собеседований from jp
